Kết thúc của 'bữa ăn miễn phí'

Trong nhiều thập kỷ, các nhà phát triển đã tận hưởng "rào cản tuần tự"—một giai đoạn mà Phát triển Dennard đảm bảo rằng mỗi thế hệ vi mạch mới đều mang lại tốc độ đồng hồ nhanh hơn. Nhưng chúng ta đã chạm đến Tường công suất. Hiệu suất không còn phụ thuộc vào tần số nữa; nó phụ thuộc vào tính song song. Để tiến lên, chúng ta phải áp dụng Tư duy tính toán để khép kín khoảng cách giữa các phương pháp trừu tượng phương pháp số và các mô hình thực thi hiện đại mô hình thực thi song song.

Sự căng thẳng giữa độ chính xác và hiệu năng

Chuyển một vấn đề lĩnh vực (ví dụ như động lực học phân tử) từ một hệ thống đa lõi sang thiết bị CUDA không chỉ đơn giản là thay đổi cú pháp; đó là sự thay đổi về Phân tích vấn đề. Khi chúng ta song song hóa, ta thường thay đổi thứ tự thực hiện các thao tác. Vì phép toán dấu phẩy động không có tính giao hoán, ta phải đối mặt với một sự đánh đổi: Độ chính xác dấu phẩy động so với độ chính xác. Kết quả song song có thể đúng về mặt toán học nhưng lại khác biệt về mặt số học so với phiên bản tuần tự tương ứng.